Entre AWS et Hugging Face, les arbitrages LLM d'eTF1 | Silicon

Plutôt TGI ou vLLM ? Chez eTF1, on a opté pour le premier de ces serveurs d’inférence, qui « répond [aux] besoins actuels ». On garde toutefois un œil sur le second, dans l’optique de montées en charge.

Les déploiements de LLM se fo...
[Courte citation de 8% de l'article original]